بر او سخت گرفت و بكوشيد چنان است كه در روايت صالح بن سليمان آمده كه گويد : وقتى خلافت به هادى رسيد ، يحيى بن خالد را بر عمل مغرب كه سپرده به هارون بود به جاى گذاشت . هادى مىخواست هارون الرشيد را خلع كند و براى پسرش جعفر بيعت بگيرد ، سرداران و از جمله يزيد بن مزيد و عبد الله بن مالك و على بن موسى و امثالشان از او پيروى كردند و هارون را خلع كردند و با جعفر بن موسى بيعت كردند و محرمانه كسان را وادار كردند كه بنزد شيعيان از هارون سخن آورند . در مجلس جماعت مذمت وى گفتند و گفتند : « به دو رضايت نمىدهيم » و كارشان بالا گرفت و علنى شد . هادى بگفت تا پيش روى هارون نيم نيزه نبردند . كسان از او دورى گرفتند و او را رها كردند و كس جرئت نداشت به هارون سلام كند يا به وى نزديك شود . گويد : و چنان بود كه يحيى بن خالد به كارهاى رشيد مىپرداخت و چنان كه گفته‌اند او و پسرانش از هارون جدا نمىشدند . اسماعيل بن صبيح دبير يحيى بن خالد بود و مىخواست او را به جايى نهد كه براى او خبرها را معلوم دارد ، ابراهيم حرانى كه در مقام وزارت موسى بود اسماعيل را به دبيرى گرفت اين خبر را به هادى رسانيدند ، يحيى ا . قضيه خبر يافت و به اسماعيل گفت كه سوى حران رود و او برفت . چند ماه بعد ( 208 هادى از ابراهيم حرانى پرسيد : « دبير تو كيست ؟ » گفت : « فلان دبير » و نام وى را بگفت . هادى گفت : « شنيده بودم دبير تو اسماعيل بن صبيح است . » گفت : « اى امير مؤمنان درست نيست ، اسماعيل در حران است . » گويد : به نزد هادى از يحيى بن خالد سعايت كردند و گفتند : « هارون سر مخالفت تو ندارد ، يحيى بن خالد او را تباه مىكند ، كسى از پى يحيى فرست و او را به كشته - شدن تهديد كن و به كفر منسوب دار . » و موسى هادى به سبب اين به يحيى بن خالد خشم آورد . محمد بن يحيى بن خالد گويد : شبى هادى كس از پى يحيى فرستاد وى از جان